X được xây dựng trên mô hình khách-chủ. Trình chủ X là một chương trình hoạt động trên một máy tính có bộ hiển thị đồ họa, giao thông với nhiều trình khách khác nhau. Trình chủ chấp nhận những yêu cầu về xuất dữ liệu đồ họa (graphical output) (như các cửa sổ) và hồi âm những dữ liệu nhập vào từ người dùng (như bàn phím, chuột) (sends back user input (keyboard, mouse)).

Trong hệ thống X Window, trình chủ chạy trên máy tính của người dùng, trong khi các trình khách có thể lại chạy trên các máy tính khác. Quan điểm này ngược với những cấu hình khách-chủ thông dụng trong các hệ thống thường thấy. Thông thường, trình khách chạy trên máy tính của người dùng, trong khi trình chủ lại chạy trên một máy tính ở xa. Sự đảo lộn này thường gây ra sự lúng túng cho những người mới dùng X. Thuật ngữ mà "X Window" dùng được lấy ra từ quan điểm của chương trình ứng dụng, hơn là từ góc độ của người dùng, hay từ phần cứng: trình ứng dụng ở xa kết nối với bộ hiển thị của trình chủ X đang chạy trên máy tại địa phương, và do đó nó hoạt động như những trình khách. Bộ hiển thị X tại máy địa phương chấp nhận giao thông dữ liệu hướng về mình, cho nên nó hoạt động như một trình chủ.

Trong ví dụ này, trình chủ X nhận tín hiệu nhập vào từ bàn phím và chuột, hiển thị lên màn hình. Một chương trình trình duyệt web và một thiết bị đầu cuối mô phỏng chạy trên máy trạm người dùng, cùng với một bộ cập nhật hệ thống chạy trên một máy ở xa, song nó lại được điều khiển bởi máy của người dùng. Chú ý, trình ứng dụng ở xa hoạt động như thể nó đang chạy trên máy tại địa phương vậy.

Giao thức giao thông giữa trình chủ và trình khách hoạt động theo tính cách xuyên dụng mạng: trình khách và trình chủ có thể được chạy trên cùng một máy, hay trên nhiều máy khác nhau. Chúng có thể không có cùng một cấu trúc máy tính hoặc có thể không có cùng một hệ điều hành. Trình khách và trình chủ có thể giao thông với nhau một cách bí mật thông qua Internet bằng cách dùng kết nối ngầm (tunneling) thông qua một kết nối đã được mã hóa (encrypted connection).